Château de Andoy heeft een rijke geschiedenis die teruggaat tot de 13de eeuw. Oorspronkelijk een middeleeuwse riddertoren, die de zetel was van een heerschappij, ontwikkelde het zich in de 17de eeuw tot een groter complex toen de toren werd geïntegreerd in een traditioneel hoofdgebouw. Het kasteel onderging aanzienlijke renovaties onder Michel Raymond, die helaas de voltooiing niet meer meemaakte. Zijn weduwe, Marie Joseph Haccourt, voltooide de werkzaamheden en gaf het kasteel zijn huidige U-vorm, met kenmerkende gekalkte bakstenen en kalksteen.
Na haar overlijden kwam het kasteel in handen van haar dochter Jeanne Ferdinande Raymond en haar echtgenoot, ridder Guillaume de Moreau. De familie de Moreau d'Andoy speelde een prominente rol in de lokale gemeenschap, met vier burgemeesters van Wierde tussen 1845 en 1944. Ook werd hier in 1879 Édouard de Moreau d'Andoy geboren, een invloedrijke jezuïet en historicus, die vooral bekend is voor zijn werk over de geschiedenis van de Katholieke Kerk in België.